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Rapportage van een nieuwe test met een simulatie van een stemprinter 

In februari en maart 2016 heeft een test plaatsgevonden waarbij aan potentiële (groepen) kiezers 
is gevraagd zowel met huidige papieren stembiljetten als met een simulatie van een stemprinter 
keuzes te maken voor verkiezingen, de gemaakte keuzes te controleren en vervolgens (op de 
simulatie) een papieren stembiljet te printen. 


1.1. Doel en onderzoeksvragen 

Het doel van de test was na te gaan of het stemmen door gebruik te maken van een stemprinter 
toegankelijker wordt. Met toegankelijkheid wordt bedoeld: de mate waarin een kiezer in staat blijkt 
te zijn een correcte 1 stem uit te brengen. In het bijzonder is de test gericht op kiezers met een 
beperking en op oudere kiezers. Op basis van deze doelstelling zijn 3 onderzoeksvragen 
geformuleerd, te weten: 

1. Blijft door de invoering van een stemprinter het stemmen toegankelijk voor de oudere kiezer? 
Blijven ouderen in dezelfde mate als met het huidige stembiljet in staat om zelfstandig 2 te 
stemmen? 

2. Wordt door de invoering van de stemprinter het stemmen toegankelijker voor laaggeletterden? 
Zijn meer laaggeletterden in staat om zelfstandig te stemmen? 

3. Wordt met de invoering van de stemprinter het stemmen toegankelijker voor slechtzienden? 
Zijn meer slechtzienden in staat om zelfstandig te stemmen? 

Een tweede doel van de test was om de specificaties van de gebruikersinterface van de stemprinter 
op te stellen. 


1.2. Omschrijving van de test 

Aan de test hebben drie gebruikersgroepen deelgenomen. Gebruikersgroep A bestond uit ouderen 
die zelf vinden dat zij in staat zijn om zelfstandig te stemmen met het papieren stembiljet dat 
gebruikt wordt bij verkiezingen. Gebruikersgroep B bestond uit personen die laaggeletterd zijn. 
Gebruikersgroep C bestond uit personen die een visuele beperking hebben en daardoor nu met 
het huidige stembiljet niet of moeilijk in staat zijn om zelfstandig te stemmen. 

Voor gebruikersgroep A golden de volgende selectiecriteria: 

1/ De proefpersoon heeft in 2014/2015 zelfstandig gestemd voor een of meerdere verkiezingen 
van de leden van de gemeenteraden, leden van het Europees Parlement, leden van Provinciale 
Staten of besturen van Waterschappen en acht zichzelf nog steeds in staat dit te doen. 

2/ Er is een evenredige verdeling van geslacht (50% man-50% vrouw) met maximaal 75% van 
hetzelfde geslacht. 

3/ De volgende aantallen proefpersonen per leeftijdcategorie zijn gewenst: 

- minimaal 50 oudere kiezers in de leeftijdscategorie 65-69; 

- minimaal 50 oudere kiezers in de leeftijdscategorie 70-74; 

- minimaal 50 oudere kiezers in de leeftijdscategorie 75-79; 

- minimaal 50 oudere kiezers in de leeftijdscategorie 80+. 


1 Onder correct wordt in deze rapportage verstaan dat de proefpersoon de gegeven opdracht om een keuze te 
maken voor een verkiezing juist heeft uitgevoerd. 

2 Onder zelfstandig stemmen wordt in deze rapportage verstaan dat een kiezer in het stemhokje zonder de hulp 
van een andere persoon zijn/haar keuze kan maken. 
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4/ Opleidingsniveau: 

- minimaal 30% van de proefpersonen heeft als hoogst genoten opleidingsniveau lager onderwijs; 

- minimaal 30% van de proefpersonen heeft als hoogst genoten opleidingsniveau hoger 
onderwijs; 

- De overige 40% van de proefpersonen heeft een lager, middelbaar of hoger opleidingsniveau. 

Voor gebruikersgroep B en C golden de volgende selectiecriteria: 

- 30 tot 50 laaggeletterde kiezers; 

- 30 tot 50 slechtziende kiezers (visus tussen 0,05 en 0,3 of gezichtsveld tussen 10 en 30 graden); 

- maximaal 75% van hetzelfde geslacht. 

Tijdens de test is een tweevoudige verkiezing gesimuleerd. De proefpersonen activeren de 
simulatie van de stemprinter (verder simulatie genoemd in deze rapportage) door een smartcard 
per verkiezing in te voeren. Vervolgens maken zij keuzes voor een lijstverkiezing en een 
referendum. In de test werd voor de lijstverkiezing gebruik gemaakt van fictieve lijsten en 
kandidaten of blanco. Bij het referendum werd een fictieve vraag gesteld, die beantwoord kan 
worden door te kiezen uit: voor, tegen of blanco. 

Iedere proefpersoon kreeg een opdracht om bepaalde keuzes te maken, deze te printen en te 
controleren of de keuze op het geprinte papier correct is. De proefpersoon levert de prints in bij de 
personen die de test begeleiden. Alle proefpersonen dienden tevens dezelfde opdracht uit te voeren 
met het huidige papieren stembiljet. Tenslotte werden aan de proefpersonen nog enkele vragen 
gesteld. 


1.3. Simulatie 

Voor de test is gebruik gemaakt van 4 identieke simulaties bestaande uit een kaartlezer, een 24 
inch aanraakscherm, een verwerkingseenheid, een printer en een koptelefoon. De proefpersonen 
activeren de simulatie door per verkiezing een voorgeprogrammeerde smartcard in te voeren en 
gebruikte maken van de aanraakscherminteractie. Deze interactie bestaat uit in totaal ± 12 
verschillende basisschermen. De proefpersoon maakt keuzes via de schermen. De 
aanraakscherminteractie kan auditief ondersteund worden door gesproken tekst (via een 
koptelefoon). Alle opdrachten en gemaakte keuzes op het scherm worden dan opgelezen. 



Het ministerie van BZK heeft in 2014 al een test gedaan met een simulatie van de stemprinter. De 
uitkomsten van die test zijn gepubliceerd 3 . Voor de test die nu in 2016 is uitgevoerd is die 
simulatie als basis genomen. Aan de apparatuur van de simulatie is een kaartlezer toegevoegd 

3 TK 2014-2015, 33 829 nr.7, bijlage 
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voor de activering. De aanraakscherminteractie inclusief auditieve ondersteuning van de simulatie 
is aangepast. De belangrijkste aanpassingen aan de interacties zijn: 

• Geen overzicht van verkiezingen (bij een meervoudige verkiezing): kiezer maakt keuze voor 
een verkiezing door een smartcard voor een bepaalde verkiezing in te voeren. Kaartlezer "slikt" 
de kaart in. 

• Gebruik van het woord 'partij' in plaats van woord 'lijst'. Dit sluit beter aan bij het dagelijkse 
woordgebruik van kiezers. 

• Alle schermen hebben nu een grijze achtergrond waardoor de (gekleurde) actie knoppen beter 
opvallen. 


• Alternatieve oplossing voor tabbladen in 
de schermen waarop een kandidaat kan 
worden gekozen. Zo nodig kan direct na 
de laatste kandidaat van een scherm op 
een knop gedrukt worden zodat 
doorgebladerd wordt naar het volgende 
kandidatenscherm. Dit geldt bij de 
volgende kandidatenschermen ook voor 
het terugbladeren, direct voor de eerste 
kandidaat. 



• Ander scherm waarop de kiezer de 

gemaakte keuze kan controleren. Op het 
aangepaste scherm staat alleen de 
gemaakte keuze in groot formaat en niet 
de hele inhoud van het te printen 
stembiljet. 


< Tem s I 


Controleer uw keuze 


Gemeenteraad 


Partij 3 Europese Weermannen |r 


6 


Dopheide 

Annet.A M. (vrouw) 



Keuze wijzigen 


Stembiljet printen 


• Het controlescherm voor het stembiljet is 
veranderd. Het stembiljet wordt niet meer 
afgebeeld op het scherm. In plaats 
daarvan beantwoordt de kiezer de vraag: 
'Klopt het stembiljet?'. 


Controleer het stembiljet 
Klopt het stembiljet? 


Nee 
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1.4. Testcondities groep A (Ouderen) 

Gebruikersgroep A deed twee sessies, namelijk: 

- Sessie 1: Voert 2 opdrachten uit op huidige papieren stembiljetten. 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing. 

- Sessie 2: Voert 2 opdrachten uit met de simulatie: 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing. 

De volgorde van de twee sessies wisselde. De helft van de proefpersonen startte met de huidige 
papieren stembiljetten, de andere helft met de simulatie. De volgorde van bovenstaande 
opdrachten binnen de sessie werd door de proefpersoon zelf bepaald door het invoeren van een 
betreffende smartcard. 

Voor het uitvoeren van opdrachten op de simulatie van de stemprinter zijn 2 varianten gemaakt 
waarbij elk van de varianten door een deel van groep A werd gedaan. Dit om te voorkomen dat er 
onverwachte effecten optreden bij het testen met maar 1 variant door positie op het scherm, 
vreemde naam, hoogte van nummer, etc. Om deze effecten zoveel mogelijk inzichtelijk te maken 
(en de daarmee optredende bias te voorkomen) werden er 2 vergelijkbare opdrachten gegeven 
(variant I en variant II). 

De twee varianten zijn: 

- Variant I 

• Lijstverkiezing: Kies 'lijst 2, kandidaat 25' 

• Referendumverkiezing: Kies'tegen'. 

- Variant II 

• Lijstverkiezing: Kies'lijst 12, kandidaat 6' 

• Referendumverkiezing: Kies'tegen'. 

Voor een spreiding van de varianten over de proefpersonen van Groep A is leeftijd als 
onafhankelijke variabele meegenomen uit de reeks selectiecriteria (leeftijd/ 
geslacht/opleidingsniveau). In combinatie met de bepaalde grootte van groep A resulteerde dit in 
een overzicht van de verdeling van proefpersonen in groep A over de testcondities (zie tabel 1). 

De proefpersonen uit groep A deden eerst de simulatie met alleen het aanraakscherm zonder 
auditieve ondersteuning. Indien het de proefpersoon niet lukte om de stembiljetten binnen de 
tijdslimiet juist te printen werd een nieuwe sessie gestart met dezelfde opdracht en werd auditieve 
ondersteuning aangeboden. Indien het dan ook niet lukt om juiste stembiljetten te printen, stopte 
het. 

De testers die de test hebben uitgevoerd hebben opmerkingen van proefpersonen genoteerd als die 
werden gemaakt. Als testers iets bijzonders is opgevallen bij het uitvoeren van de opdrachten door 
de proefpersonen is dat eveneens vastgelegd. 
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sessie 2 


simulatie 


variant 1 

variant 2 

- 


lijst 2, 

kandidaat 25 

lijst 12, 

kandidaat 6 



referendum 

kies 'tegen' 

referendum 

kies 'tegen' 



lijst 2, 

kandidaat 25 

lijst 12, 

kandidaat 6 

referendum 

kies 'tegen' 

referendum 

kies 'tegen' 



65-69 

15 

23 

38 

sessie 1 

70-74 

23 

16 

39 

sessie 2 

75-79 

20 

16 

36 


80 + 

22 

13 

35 


5 


65-69 

23 

19 

42 

6 

sessie 2 

70-74 

15 

19 

34 

7 

sessie 1 

75-79 

18 

20 

38 

8 


80 + 

8 

15 

23 


totaal 


totaal 


65-69 


70-74 


75-79 


80 + 


38 

42 

80 

38 

35 

73 

38 

36 

74 

30 

28 

58 

144 

141 

285 

144 

141 

285 


Tabel 1: Verdeling proefpersonen groep A 
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1.5. Testcondities groepen B en C (Laaggeletterden en Slechtzienden) 

Gebruikersgroep B deed drie sessies, namelijk: 

- Sessie 1: Voert 2 opdrachten uit op huidige papieren stembiljetten. 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing. 

- Sessie 2: Voert 2 opdrachten uit met de simulatie: 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing. 

- Sessie 3: Voert 2 opdrachten uit met de simulatie met auditieve ondersteuning. 

• 1 opdracht voor de lijstverkiezing, de zogenaamde verkiezing voor de gemeenteraad; 

• 1 opdracht voor de referendumverkiezing. 

De volgorde van de drie sessies wisselde niet. Steeds werd eerst begonnen met de huidige 
papieren stembiljetten. Daarna vervolgde de helft met de simulatie zonder auditieve ondersteuning 
en tenslotte de simulatie van de stemprinter met auditieve ondersteuning. De volgorde van 
bovenstaande opdrachten binnen de sessie werd door de proefpersoon zelf bepaald. Voor het 
uitvoeren van opdrachten op de simulatie zijn 2 varianten gemaakt waarbij elk van de varianten 
door een deel van de groepen B en C werd gedaan. Deze zijn gelijk aan die van groep A. 

In combinatie met de bepaalde grootte van minimaal 30 personen per groep resulteert dit in een 
overzicht van de verdeling van proefpersonen in de groepen B en C over de testcondities (zie tabel 
2 ). 

Om meer informatie over het uitvoeren van de opdrachten te krijgen werd gecontroleerd of de 
juiste keuzes waren gemaakt en werd vervolgens een aantal vragen gesteld. 


B-C 

sessie 

middel 

variant 1 

variant 2 





- 




sessie 1 

huidig stembiljet 

lijstverkiezing 

huidig stembiljet 

referendum 

lijst 2, 

kandidaat 25 

lijst 12, 

kandidaat 6 





referendum 

kies 'tegen' 

referendum 

kies 'tegen' 









sessie 2 

simulatie 

lijst 2, 

kandidaat 25 

lijst 12, 

kandidaat 6 


referendum 

kies 'tegen' 

referendum 

kies 'tegen' 



sessie 3 

simulatie met 

auditieve 

ondersteuning 

lijst 2, 

kandidaat 25 

lijst 12, 

kandidaat 6 


referendum 

kies 'tegen' 

referendum 

kies 'tegen' 





aantal 

proefpersonen 

aantal 

proefpersonen 









totaal 

groep B 

13 

17 

30 








totaal 

groep C 

13 

19 

32 
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Tabel 2: Verdeling proefpersonen per groep B en C 


1.6. Testresulta ten 

Het doel van de test was na te gaan of het stemmen door gebruik te maken van een stemprinter 
toegankelijker wordt. Met toegankelijkheid wordt bedoeld: de mate waarin een kiezer in staat blijkt 
te zijn een correcte 4 stem uit te brengen. 

Voorafgaand aan de test is daarom bepaald hoe vastgesteld diende te worden of een proefpersoon 
wel of niet in staat is de testopdrachten correct uit te voeren, te weten: 

• Proefpersoon in groep A/B/C niet in staat is om zelfstandig een keuze te maken als hij/zij 
langer dan 5 minuten over de opdrachten met de papieren stem- en referendumbiljetten 
doet; 

• Proefpersoon in groep A niet in staat is om zelfstandig een keuze te maken als hij/ zij 
langer dan 10 minuten over de opdrachten met de simulatie doet; 

• Proefpersoon in groepen B/C niet in staat is om zelfstandig een keuze te maken als hij/ zij 
langer dan 15 minuten over de opdrachten met de simulatie doet; 

• De tester start de stopwatch zodra proefpersoon een smartcard in de kaartlezer stopt. Als 
proefpersoon problemen heeft om de kaart in de kaartlezer te stoppen, mag tester hierbij 
helpen (tester maakt hier notitie van); 

• Indien de simulatie (volgens de proefpersoon) niet goed werkt of vastloopt, wordt de sessie 
gestopt. De proefpersoon wordt dan verzocht de opdracht opnieuw uit te voeren; 

• Als de simulatie vastloopt wordt er een nieuwe sessie gestart, met een nieuw 
sessienummer. Wanneer er een onderbreking is door een technische oorzaak heeft de 
tijdswaarneming van de onderbroken sessie geen waarde. Het nieuwe sessienummer dient 
aan het observatieformulier toegevoegd te worden. 

Indien de proefpersoon constateert (al dan niet terecht) dat het geprinte biljet niet 
klopt, krijgt hij/zij nog eenmaal de kans de betreffende opdracht over te doen. 


1.7. Resultaten groep A (Ouderen) 


Huidig stembiljet 


Categorie 

Aantal huidige 
stembiljetten 
ingevuld 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per 

subgroep 


1 

2 

Alle stembiljetten goed 

233 

233 

82% 

2 

2 

Alleen lijstverkiezing goed 

8 

46 

16% 

3 

Alleen referendum goed 

27 

4 

Beide fout 

11 

5 

1 

Lijstverkiezing goed 

0 

0 

0% 

6 

Referendum goed 

0 

7 

0 


6 

6 

2% 


285 

285 

100% 


4 Onder correct wordt in deze rapportage verstaan dat de proefpersoon de gegeven opdracht om een keuze te 
maken voor een verkiezing juist heeft uitgevoerd. 
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Simulatie 


Categorie 

Aantal 

stembiljetten 

geprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 


1 

2 

Alle stembiljetten qoed 

234 

234 

82% 

2 

2 

Alleen lijstverkiezing 
qoed 

6 

39 

14% 

3 

Alleen referendum 

qoed 

24 

4 

Beide fout 

9 

5 

1 

Lijstverkiezinq qoed 

1 

1 

0% 

6 

Referendum qoed 

0 

7 

0 


11 

11 

4% 


285 

285 

100% 


Simulatie inclusief audio-ondersteuning 


Categorie 

Aantal 

stembiljetten 

geprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 


1 

2 

Alle stembiljetten qoed 

240 

240 

84% 

2 

2 

Alleen lijstverkiezing 
qoed 

6 

37 

13% 

3 

Alleen referendum 

qoed 

23 

4 

Beide fout 

8 

5 

1 

Lijstverkiezinq qoed 

0 

0 

0% 

6 

Referendum qoed 

0 

7 

0 


8 

8 

3% 


285 

285 

100% 


Wat opvalt: 

• Van de totale groep ouderen (285 proefpersonen) is 82% in staat beide huidige stembiljetten 
juist in te vullen. Met de simulatie stemprinter is dit eveneens 82%. Als gebruik wordt gemaakt 
van de audio-ondersteuning stijgt dit percentage naar 84%; 

• Er hebben zich nauwelijks problemen voorgedaan met het invoeren van de smartcard. 95% 
van de ouderen beoordeelde deze handeling als makkelijk, de overigen als neutraal of gaven 
geen antwoord; 

• 61% van de ouderen vond het maken van de keuzes en het printen van de stembiljetten met 
de stemprinter makkelijker dan met het huidige stembiljet, 4% vond het moeilijker en 33% 
vond dit hetzelfde als met de huidige stembiljetten (2% gaf geen antwoord); 

• 12 oudere proefpersonen die met de simulatie niet twee juiste stembiljetten wisten te printen, 
hebben audio-ondersteuning gebruikt. 7 daarvan konden vervolgens wel de opdracht correct 
uitvoeren. 1 persoon koos bewust iets anders. 3 personen kozen een verkeerde kandidaat. 1 
persoon heeft beide opdrachten niet goed uitgevoerd; 

• Van de proefpersonen die niets hebben kunnen printen zijn enkelen al afgehaakt tijdens de 
uitleg of tijdens het uitvoeren van de opdracht. Ook hebben enkele proefpersonen met hulp 


Bijlage: Nieuwe test met een simulatie van een stemprinter 


9 



van de tester de opdracht uitgevoerd. Dit was uiteraard niet de bedoeling. Daarom zijn de 
uitkomsten van deze proefpersonen als 'niet goed' aangemerkt in bovenstaande overzichten; 

• 96% van de proefpersonen zegt het stembiljet gecontroleerd te hebben. 95% geeft aan dat 
wat er op de stembiljetten staat overeenkomt met wat hij/zij wilde kiezen. Dit zijn zowel de 
proefpersonen die de juiste keuzen gemaakt hebben als zij die een eigen keuze gemaakt 
hebben; 

• Van de 39 proefpersonen die 2 stembiljetten hebben geprint maar niet correct zijn er 25 die 
aangaven bewust een andere keuze hebben gemaakt. 

Wanneer proefpersonen die expliciet aangeven dat zij bewust een andere keuze hebben gemaakt 
als juist gerekend worden, stijgen deze percentages van proefpersonen die in staat zijn om met 
beide stemmethoden 2 stembiljetten juist in te vullen naar 91% en inclusief audio ondersteuning 
naar 94% (zie volgende 3 tabellen). 


Huidig stembiljet 


Categorie 

Aantal huidige 
stembiljetten 
ingevuld 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per 

subgroep 


1 

2 

Alle stembiljetten goed 

258 

258 

91% 

2 

2 

Alleen lijstverkiezing 
goed 

3 

21 

7% 

3 

Alleen referendum 

goed 

13 

4 

Beide fout 

5 

5 

1 

Lijstverkiezing qoed 

0 

0 

0% 

6 

Referendum qoed 

0 

7 

0 


66 

6 

2% 


285 

285 

100% 


Simulatie 


Categorie 

Aantal 

stembiljetten 

qeprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 


1 

2 

Alle stembiljetten goed 

259 

259 

91% 

2 

2 

Alleen lijstverkiezing 
qoed 

2 

14 

5% 

3 

Alleen referendum qoed 

10 

4 

Beide fout 

2 

5 

1 

Lijstverkiezing goed 

1 

1 

0% 

6 

Referendum qoed 

0 

7 

0 


11 

11 

4% 


285 

285 

100% 


Simulatie inclusief audio-ondersteuning 
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Categorie 

Aantal 

stembiljetten 

geprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 


1 

2 

Alle stembiljetten goed 

268 

268 

94% 

2 

2 

Alleen lijstverkiezing 
goed 

2 

9 

3% 

3 

Alleen referendum qoed 

6 

4 

Beide fout 

1 

5 

1 

Lijstverkiezing qoed 

0 

0 

0% 

6 

Referendum goed 

0 

7 

0 


8 

8 

3% 


285 

285 

100% 


Opvallend zijn de aanmerkelijke verschillen die optreden naarmate de proefpersonen ouder zijn. 
Deze verschillen zijn echter praktisch gelijk voor de huidige stembiljetten en de simulatie 
stemprinter; zowel ten aanzien van het resultaat voor het invullen van 2 juiste biljetten als voor 
het resultaat inclusief'bewust eigen keuze'. 


Leeftijd 

2 juiste biljetten 

inclusief 'bewust eigen keuze' 


Huidige 

Simulatie 

Huidige 

Simulatie 


Stembiljetten 

Stemprinter 

Stembiljetten 

Stemprinter 

65 - 69 

96% 

95% 

98% 

98% 

70 - 74 

90% 

90% 

96% 

96% 

75 - 79 

76% 

78% 

89% 

93% 

80 + 

59% 

59% 

78% 

72% 

totaal 

82% 

82% 

91% 

91% 


Uit tabel 1 op pagina 6 blijkt dat de doelstelling om per leeftijdscategorie minimaal 50 
proefpersonen te testen ruim gehaald is. De verdeling over de varianten in opdracht en sessies is 
voldoende gespreid, behalve in de groep 80+ is enige disbalans. Dit is echter geen probleem 
aangezien uit de volgende 2 tabellen blijkt dat de opdracht variant en de sessievolgorde beperkt 
van invloed zijn op het resultaat. 


Variant opdracht 

2 juiste biljetten 


huidige stembiljetten 

simulatie 

tweede kandidatenscherm 

83% 

83% 

eerste kandidatenscherm 

81% 

82% 

totaal 

82% 

82% 


Sessievolgorde 

2 juiste biljetten 


huidige stembiljetten 

simulatie 

eerst huidige stembiljetten 

82% 

85% 

eerst simulatie 

81% 

80% 

totaal 

82% 

82% 
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Ten aanzien van de geformuleerde selectiecriteria geldt: 


1/ De verdeling van geslacht is voldoende evenredig (binnen de marge): 

- Deelgenomen mannen: 130 (46%); 

- Deelgenomen vrouwen: 154 (54%). 

Er is een beperkt verschil in resultaat tussen mannen en vrouwen. Voor huidige 
stembiljetten en simulatie stemprinter zijn de resultaten echter praktisch gelijk: 


Geslacht 

proefpersonen 

2 juiste biljetten 



huidige 

stembiljetten 

simulatie 

Man 

130 

85% 

85% 

Vrouw 

154 

79% 

80% 

totaal 

285 

82% 

82% 


2/ Er is een kleine ondervertegenwoordiging van lager onderwijs. 

- Deelgenomen proefpersonen met hoger onderwijs 85 (30%); 

- Deelgenomen proefpersonen met middelbaar onderwijs 127 (44%); 

- Deelgenomen proefpersonen met lager onderwijs 73 (26%, doelstelling minimaal 
30%). 

Maar over het geheel een acceptabele verdeling. 

Er is (zoals verwacht) een aanzienlijk verschil in resultaat in proefpersonen met hoger en lager 
onderwijs. Voor huidige stembiljetten en simulatie stemprinter zijn de resultaten echter 
praktisch gelijk: 


Opleiding 

proefpersonen 

2 juiste biljetten 



huidige 

stembiljetten 

simulatie 

Hoger onderwijs 

85 

91% 

89% 

Middelbaar onderwijs 

127 

82% 

83% 

Lager onderwijs 

73 

71% 

73% 

totaal 

285 

82% 

82% 


3/ Er is een duidelijk verschil in resultaat tussen de locaties Soest (rond verpleeghuis) en de steden 
voor proefpersonen ouder dan 75 jaar. Voor huidige stembiljetten en simulatie blijven de resultaten 
echter praktisch gelijk per locatie: 


Locatie 

proefpersonen 75+ 

2 juiste biljetten 



huidige 

simulatie 



stembiljetten 


Soest 

62 

65% 

66% 

Rotterdam/ Amsterdam 

30 

70% 

73% 

Dronten 

40 

73% 

73% 

totaal 

132 

69% 

70% 
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Nadere analyse laat zien dat de woonvorm van grote invloed is. Proefpersonen uit het verpleeghuis 
komen in beide sessies veel moeilijker tot 2 juiste stembiljetten: 


Woonvorm 

proefpersonen 

2 juiste 

biljetten 



huidige 

simulatie 



stembiljetten 


zelfstandig 

251 

86% 

87% 

aanleunwoning 

17 

71% 

71% 

verpleeqhuis 

17 

29% 

29% 

totaal 

285 

82% 

82% 


Hoe lang duurt het om een keuze te maken, te bevestigen en stembiljet te printen 

Om een inschatting te kunnen maken van de tijd die het de oudere proefpersonen heeft gekost om 
de opdrachten uit te voeren met de simulatie is uitgegaan van alle proefpersonen die 2 
stembiljetten geprint hebben. Dit zijn 273 proefpersonen van de in totaal 285 proefpersonen. De 
data van de overige 12 proefpersonen zijn niet meegenomen, omdat deze soms zelfs niet gestart 
zijn of niet tot een eindtijd zijn gekomen. Daarbij is een aantal correcties uitgevoerd indien de data 
in combinatie met de log files hier aanleiding toe gaven. 

De gemeten tijdsduur is die van 'moment van kaartinvoer' tot en met het drukken op de 'heeft u 
nog een kaart' knop. In de gemeten tijdsduur zit niet de tijd die het kost om de smartcard in te 
voeren en uit te lezen. 


leeftijd 

lijstverkiezinq 

referendum 

65 - 69 

00:53 

00:36 

70 - 74 

00:57 

00:38 

75 - 79 

01:10 

00:46 

80± 

01:42 

00:55 

Gemiddeld 65+ 

01:07 

00:43 


De aanname wordt gedaan dat de tijdsduur gecorrigeerd kan worden met 8 sec. Deze aanname is 
gebaseerd op de gedachte dat een stemprinter in staat zal zijn om het stembiljet in 3 seconden te 
printen. De printer van de simulatie doet daar 11 seconden over. 

De gemiddelde tijd om een keuze te maken voor de lijstverkiezing is na de correctie voor de printer 
0:59 minuut. Er is een verschil van ±10 sec. tussen de opdracht op het eerste en het tweede 
kandidatenscherm. De praktijk is echter dat bij een verkiezing heel veel kiezers op de eerste of 
tweede kandidaat op een lijst stemmen en weinig kiezers stemmen op een kandidaat die laag op 
een lijst staat. 

Voor het maken van een keuze voor een referendum, met minder schermen, het printen van het 
stembiljet lijkt 40 seconden aan doorlooptijd een redelijke aanname. 
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1.8. Resultaten groep B (Laaggeletterden) 


Huidige stembiljet 


Categorie 

Aantal huidige 
stembiljetten 
inqevuld 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 

1 

2 

Alle stembiljetten qoed 

25 

25 

2 

2 

Alleen lijstverkiezinq qoed 

0 

3 

3 

Alleen referendum 

1 

4 

Beide fout/ongeldig 

2 

5 

1 

Lijstverkiezing goed 

1 

2 

6 

Referendum goed 

0 

6.5 

Fout/ongeldig 

1 

7 

0 

Geen 

0 

0 


30 

30 


Simulatie 


Categorie 

Aantal stembiljetten 
qeprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 

1 

2 

Alle stembiljetten goed 

24 

24 

2 

2 

Alleen lijstverkiezing goed 

1 

5 

3 

Alleen referendum 

3 

4 

Beide fout 

1 

5 

1 

Lijstverkiezinq qoed 

0 

0 

6 

Referendum qoed 

0 

7 

0 

Geen 

1 

1 


30 

30 


Simulatie met audio-ondersteuning 


Categorie 

Aantal stembiljetten 
qeprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per subgroep 

1 

2 

Alle stembiljetten goed 

27 

27 

2 

2 

Alleen lijstverkiezing qoed 

1 

3 

3 

Alleen referendum 

1 

4 

Beide fout 

1 

5 

1 

Lijstverkiezinq qoed 

0 

0 

6 

Referendum qoed 

0 

7 

0 

Geen 

0 

0 


30 

30 


Wat opvalt: 

• Er is nauwelijks verschil in de uitkomsten tussen het huidige stembiljet en de simulatie; 

• De proefpersonen die problemen ondervonden met de simulatie waren allen mensen die ook 
fouten maakten met het papieren stembiljet. Nuance: 1 van hen had bij de simulatie 
problemen met het invoeren van de smartcard; 

• 24 proefpersonen vonden de simulatie makkelijker. Slechts 1 proefpersoon gaf aan dat de 
simulatie moeilijker was (maar deed zowel papier als printer zonder problemen), 5 mensen 
zagen geen verschil, van wie 1 proefpersoon daadwerkelijk problemen met de simulatie had. 
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Enkele proefpersonen zeiden het huidige stembiljet overzichtelijker te vinden, zij hadden allen 
de opdracht met kandidaat 25 (op het tweede kandidatenscherm); 

• Audio: van de 5 proefpersonen die de opdrachten met de simulatie in eerste instantie niet goed 
hadden afgerond hebben 4 het met de audio veel beter gedaan: 3 proefpersonen hebben 
alsnog de opdrachten goed uitgevoerd, 1 proefpersoon had bewust iets anders gekozen, 1 
persoon begrijpt de simulatie niet: "hoe een kandidaat te kiezen"; 

• 14 proefpersonen vonden met audio makkelijker dan zonder audio. 13 proefpersonen zagen 
geen verschil (waarvan 2 die met zowel het huidige stembiljet als met de simulatie problemen 
ondervonden) en 3 gaven aan dat het moeilijker was dan zonder audio (maar hadden geen 
problemen gehad); 

• Aantal proefpersonen (30) en verdeling (11 man en 19 vrouw) voldoet aan de gestelde criteria. 


1.9. Resultaten groep C (Slechtzienden) 


Huidige stembiljet 


Categorie 

Aantal huidige 
stembiljetten 
ingevuld 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per 

subgroep 

1 

2 

Alle stembiljetten qoed 

14 

14 

2 

2 

Alleen lijstverkiezinq qoed 

0 

1 

3 

Alleen referendum 

1 

4 

Beide fout 

0 

5 

1 

Lijstverkiezinq qoed 

0 

8 

6 

Referendum qoed 

8 

7 

0 

Geen 

9 

9 


32 

32 


Simulatie 


Categorie 

Aantal stembiljetten 
qeprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per 

subgroep 

1 

2 

Alle stembiljetten qoed 

21 

21 

2 

2 

Alleen lijstverkiezinq qoed 

0 

3 

3 

Alleen referendum 

1 

4 

Beide fout 

2 

5 

1 

Lijstverkiezinq qoed 

1 

2 

6 

Referendum goed 

1 

7 

0 

Geen 

6 

6 


32 

32 
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Simulatie met audio-ondersteuning 


Categorie 

Aantal stembiljetten 
qeprint 

Omschrijving van het 

resultaat 

Aantal 

personen 

Per 

subqroep 

1 

2 

Alle stembiljetten goed 

24 

24 

2 

2 

Alleen lijstverkiezinq qoed 

0 

4 

3 

Alleen referendum 

4 

4 

Beide fout 

0 

5 

1 

Lijstverkiezinq qoed 

0 

1 

6 

Referendum qoed 

1 

7 

0 

Geen 

3 

3 


32 

32 


Wat opvalt: 

• Een duidelijk verschil in resultaat tussen simulatie en huidig stembiljet; 14 van de 32 
proefpersonen zijn in staat beide opdrachten correct uit te voeren met het huidige stembiljet. 
Dit aantal steeg naar 21 door gebruik te maken van de simulatie; 

• Met de audio-ondersteuning lijken nog meer proefpersonen de opdrachten correct uit te 
kunnen voeren; 

• 13 proefpersonen gaven aan erg veel moeite te hebben met het lezen van de teksten op het 
scherm (sommigen konden de cijfers wel lezen), 4 van hen konden het scherm helemaal niet 
lezen; 

• 17 proefpersonen stelden de simulatie makkelijker te vinden en 5 waren neutraal. Voor de 
overige proefpersonen was deze vraag niet van toepassing omdat zij (een van) beide 
stemmethoden onvoldoende konden lezen; 

• Van de 23 personen die aangaven mét audio makkelijker te vinden dan zonder audio, waren er 
2 die echter toch problemen hadden om met audio een keuze te maken; 

• Audio is niet voor iedereen een verbetering. Van de 11 proefpersonen die met de simulatie 
zonder audio-ondersteuning de opdrachten niet goed hadden uitgevoerd doen 4 personen het 
beter met audio, echter 7 hadden nog steeds problemen; 

• 28 van de 32 proefpersonen beoordeelden de kaartinvoer als makkelijk, de overige 4 als 
neutraal; 

• Aantal proefpersonen (32) en verdeling (15 man en 17 vrouw) voldoen aan de gestelde 
criteria. 
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1.10. Conclusies 

Op basis van de hiervoor weergegeven testresultaten zijn de volgende conclusies gerechtvaardigd: 

1. Ten minste even toegankelijk voor ouderen 

In de totale groep van 285 proefpersonen ouder dan 65 jaar is eenzelfde percentage (82%) in 
staat om de huidige stembiljetten correct in te vullen en om de simulatie stemprinter correct in te 
vullen. Als gebruik wordt gemaakt van audio-ondersteuning dan stijgt dit percentage naar 84%. 
Naarmate personen ouder zijn wordt het moeilijker, zowel met het huidige stembiljet als met een 
stemprinter. 

Wanneer proefpersonen die expliciet aangeven dat zij bewust een andere keuze hebben gemaakt 
als juist gerekend worden, stijgen de percentages van proefpersonen die in staat zijn om met beide 
stemmethoden 2 stembiljetten correct in te vullen naar 91% en inclusief audio ondersteuning naar 
94%. 

Het moeten invoeren van een smartcard om een stemprinter te activeren lijkt geen belemmering 
voor de toegankelijkheid op te werpen. Hetzelfde kan worden gesteld voor het gebruik van 
tabbladen op het kandidatenscherm. 

Een meerderheid van de oudere proefpersonen vond het maken van de keuzes en het printen van 
de stembiljetten met de stemprinter makkelijker dan het huidig stembiljet, een zeer beperkt aantal 
vond het moeilijker en de overigen vonden dit hetzelfde als met de huidige stembiljetten. 

De doorlooptijd bij ouderen zal naar verwachting rond 1 minuut bedragen voor een lijstverkiezing 
en 40 seconden voor een referendum. 

2. Niet toegankelijker voor laaggeletterden 

In de groep van 30 laaggeletterden zijn praktisch evenveel proefpersonen in staat om beide 
huidige stembiljetten correct in te vullen, als om de opdrachten met de simulatie correct uit te 
voeren. 

Audio-ondersteuning geeft een lichte verbetering van het resultaat voor het correct uitvoeren van 
beide opdrachten met de simulatie stemprinter. 

Wel vond de meerderheid van de proefpersonen het maken van de keuzes en het printen van de 
stembiljetten met de stemprinter makkelijker, 1 vond het moeilijker en 5 vonden dit hetzelfde als 
met de huidige stembiljetten. 

3. Duidelijk toegankelijker voor slechtzienden 

In deze groep waren 14 van de 32 proefpersonen in staat beide huidige stembiljetten juist in 
te vullen. Dit aantal steeg naar 21 door gebruik te maken van de stemprinter, en met behulp 
van audio zelfs naar 24. Dit is een aanzienlijke verbetering. 

Audio-ondersteuning is niet voor iedereen een verbetering. De proefpersonen in deze groep die niet 
in staat waren om beide opdrachten correct uit te voeren, zouden mogelijk gebaat kunnen zijn bij 
het gebruik van auditieve interactie die voor de blinde proefpersonen beschikbaar is. 

17 proefpersonen vonden het maken van de keuzes en het printen van de stembiljetten met de 
stemprinter makkelijker en 5 vonden dit hetzelfde als met de huidige stembiljetten. 
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4. Optimaliseren van gebruikersinterface van de stemprinter 


Zou het kabinet besluiten dat de invoering van de stemprinter haalbaar is, dan zal verder gewerkt 
worden aan de gebruikersinterface voor de kiezer. Op basis van de opgedane ervaringen in de 
uitgevoerde test kan dan mogelijk gedacht worden aan: 

Een voelbaar en zichtbaar onderscheid tussen de locatie waar de smartcard wordt ingevoerd en de 
locatie waar het stembiljet wordt uitgevoerd. 

De tekst 'druk op start' toevoegen onder de startknop op het startscherm. 

De wijze van navigeren naar volgende kandidatenschermen zou voor laaggeletterden meer mogen 
opvallen. Te denken valt aan het laten knipperen van de blauwe knoppen in geval er meer dan 20 
kandidaten op een bepaalde lijst staan. 

De audio-interactie zoals deze in de simulatie opgenomen is, voldoet goed maar is voor verdere 
verbetering vatbaar. Dit geldt met name voor de timing van de verschillende geluidsfragmenten. 
De tactiele knoppen zijn in de simulatie relatief groot en werken nog niet optimaal. Voorkeur 
zouden iets kleinere knoppen zijn in een veelgebruikte 'kruis-formatie 1 (ronde knop midden, vier 
pijltjes er omheen). 


Het is van belang dat kiezers begrijpen dat er niet met de stemprinter wordt gestemd. Gestemd 
wordt pas door het stembiljet in de stembus te doen. 
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